显示专题 | 提供聚焦感知的视频式混合现实呈现(IEEE VR/TVCG Best Paper)
提供聚焦感知的视频式混合现实呈现
Video See-Through Mixed Reality with Focus Cues本期导读
混合现实(MR)已被证明具有在具体物理环境下提供用户更具有图形交互式体验的潜力。近几年关于头戴式显示器(HWD)的研究诸多,核心往往集中在光学透视显示技术,以看到在不存在增强的地方详细描述真实世界。然而,现有的OST仍然存在许多缺点,包括视野有限、机构复杂、缺乏对物理对象的适当遮挡、以及较差的色彩和对比度再现能力。另一个难点在于,大多数VR/AR/MR显示解决方案,不论是光学透视(OST)式还是视频透视(VST)式,都存在难以提供大范围的、真实的聚焦感知(Focus Cues)。针对以上问题,来自格拉兹技术大学(TUGraz)和斯坦福大学(Stanford)的研究人员提出了一种新型视频透视式混合现实方法,其核心优势在于完全支持聚焦感知。具体地,通过将变焦显示(Vari-focal Displays)设计中的焦距调整灵活性,与多焦点显示(Multi-focal Displays)设计中的眼动追踪(eye-tracking)误差的稳健性相结合,该显示架构可以在大显示空间范围内可靠地提供聚焦感知。该工作近期以论文形式发表于虚拟现实和增强现实领域顶级会议及期刊领域IEEE 《TVCG》上并荣获IEEE VR 2022最佳论文。
图1 具有真实聚焦和景深效果的混合现实呈现,实现了增强现实内容(蝴蝶)叠加到环境内容(植物,背景装饰,及用户手部)地有效重构显示(文末有实拍视频)。
技术路线
图2. 头戴式显示系统结构示意,包含获取和显示两大模块。其核心组件包括:基于多层LCD的显示,基于多组液体透镜的对真是环境内容的聚焦获取,及基于多组液体透镜和眼动追踪的对重构显示内容的聚焦感知进行有效呈现。
软件层面的技术路线见图3,该系统充分利用了图形学领域基于GPU的实时渲染技术,采用多平面图像表征(MPI)对内容进行分解,并配合对眼动追踪和光学显示设备的有效地自动化校正,实现了高质量的、具有真实聚焦感知的重构内容的实时渲染和显示。
图3 混合现实内容的渲染流程示意,其核心在于利用MPI实现对增强显示的内容的有效分解和渲染。
实验结果见图4及所附视频。可以看到,场景中的增强现实内容(蝴蝶及家禽)能够被有效重构并毫无违和感地叠加到对环境场景的重构显示中,尤其地,真实有效的深度和聚焦感知得到了最大保留。更多交互式结果展示详见作者项目主页(文末有链接)。
图4 实验结果展示。上:对所拍摄到的环境内容的有效重构显示;下:将增强现实内容(蝴蝶及家禽)叠加到环境内容后的有效重构显示。注意地,每个子图左右部分分布为聚焦到前/后景的显示效果。可以看到,该技术解决方案实现了具有真实聚焦和景深效果的混合现实显示效果。
Ebner, C., Mori, S., Mohr, P., Peng, Y., Schmalstieg, D., Wetzstein, G., & Kalkofen, D., Video See-Through Mixed Reality with Focus Cues. IEEE Transactions on Visualization & Computer Graphics (2022).
https://immersive-technology-lab.github.io/gazecontingentvst/
回顾与预告
上期回顾:显示专题 | 基于平面透镜的裸眼光场3D显示设计 (OSA Optica)欢迎点击查阅
Contact: intelligent.optics.sharing@gmail.com
END